from crawl4ai import WebCrawler

def basic_web_crawl(url):
    # 初始化爬虫
    crawler = WebCrawler()
    
    try:
        # 启动爬虫并爬取目标URL
        result = crawler.crawl(
            url=url,
            # 启用JavaScript渲染（如需处理动态页面）
            render_js=True,
            # 超时设置（秒）
            timeout=30
        )
        
        # 提取结果
        print(f"网页标题: {result.title}")
        print(f"网页描述: {result.meta_description}")
        print(f"爬取状态: {'成功' if result.success else '失败'}")
        
        # 打印前500个字符的网页内容
        if result.content:
            print(f"网页内容（前500字）: {result.content[:500]}...")
        
        # 提取页面中的链接
        print("\n页面中的链接:")
        for link in result.links[:5]:  # 打印前5个链接
            print(f"- {link}")
            
    except Exception as e:
        print(f"爬取失败: {str(e)}")
    finally:
        # 关闭爬虫释放资源
        crawler.close()

# 测试爬取示例网页
if __name__ == "__main__":
    target_url = "https://example.com"  # 替换为目标URL
    basic_web_crawl(target_url)
